Javascript.RU

Создать новую тему Ответ
 
Опции темы Искать в теме
  #1 (permalink)  
Старый 22.01.2018, 11:13
Аспирант
Отправить личное сообщение для Alex1233 Посмотреть профиль Найти все сообщения от Alex1233
 
Регистрация: 06.04.2014
Сообщений: 45

Получение данных со страницы с Ajax подгрузкой
Здравствуйте!

Подскажите пожалуйста, каким образом можно реализовать парсинг данных (для обработки и анализа) со страницы с подгружаемыми по ajax данными?

Пример:
Вот страничка с которой необходимо получить данные (данные о подарках): http://dreamscity.combats.com/inf.pl?1320948652&all=1

Внизу есть кнопочка "Показать ещё", при нажатии на которую догружается следующая часть подарков.

Как сделать получение информации о всех подарках со стороннего сайта (для анализа, подсчета и обработки) на автомате, при помощи скрипта? (в приоритете решение на PHP, JS, Jquery) Возможно ли такое вообще?

Последний раз редактировалось Alex1233, 22.01.2018 в 11:19.
Ответить с цитированием
  #2 (permalink)  
Старый 22.01.2018, 11:21
Аватар для ksa
ksa ksa вне форума
CacheVar
Отправить личное сообщение для ksa Посмотреть профиль Найти все сообщения от ksa
 
Регистрация: 19.08.2010
Сообщений: 14,277

Сообщение от Alex1233
Как сделать получение информации о всех подарках со стороннего сайта на автомате, при помощи скрипта?
У того скрипта должен быть "доступ" к тем данным. Т.е. сервер должен отвечать на запросы, а не выдавать ошибку в доступе.
Так же нужно знать алгоритм этих запросов...
Ответить с цитированием
  #3 (permalink)  
Старый 22.01.2018, 11:37
Аспирант
Отправить личное сообщение для Alex1233 Посмотреть профиль Найти все сообщения от Alex1233
 
Регистрация: 06.04.2014
Сообщений: 45

Сообщение от ksa Посмотреть сообщение
У того скрипта должен быть "доступ" к тем данным. Т.е. сервер должен отвечать на запросы, а не выдавать ошибку в доступе.
Так же нужно знать алгоритм этих запросов...
А без знаний деталей, просто взять и написать автоматический парсер под такое не получится?

В ручную же можно зайти и посмотреть (открыть/дозагрузить) все подарки, неужели скриптом это не реализовать никак? Чтобы например открывалась страница, жмакалась кнопочка эта с определенным интервалом и каждый раз проверкой на ее наличие (чтобы знать когда остановиться), а потом просто взять и спарсить всю страницу целиком?
Ответить с цитированием
  #4 (permalink)  
Старый 22.01.2018, 14:03
Профессор
Отправить личное сообщение для laimas Посмотреть профиль Найти все сообщения от laimas
 
Регистрация: 14.01.2015
Сообщений: 12,989

Сообщение от Alex1233
А без знаний деталей, просто взять и написать автоматический парсер под такое не получится?
Вы можете достать из черного ящика требуемое если вам не скажут что именно?
Ответить с цитированием
  #5 (permalink)  
Старый 22.01.2018, 14:32
Аватар для ksa
ksa ksa вне форума
CacheVar
Отправить личное сообщение для ksa Посмотреть профиль Найти все сообщения от ksa
 
Регистрация: 19.08.2010
Сообщений: 14,277

Сообщение от Alex1233
В ручную же можно зайти и посмотреть (открыть/дозагрузить) все подарки, неужели скриптом это не реализовать никак?
При работе "В ручную" работает скрипт авторов, они-то как раз знают все детали построения данных и алгоритмов.
И доступ у них для себя налажен...

А ты без этого знания слеп и глух.
Ответить с цитированием
  #6 (permalink)  
Старый 22.01.2018, 14:52
Аспирант
Отправить личное сообщение для Alex1233 Посмотреть профиль Найти все сообщения от Alex1233
 
Регистрация: 06.04.2014
Сообщений: 45

Так а скрипт авторов я не могу удаленно запускать скриптом никак? Вернее получать результат его работы?

Тем же .on('click') на Jquery. Просто необходимо реализовать какой то буфер чтоли для страницы, чтобы парсить с нее данные не сразу после загрузки, а только после определенных манипуляций с ней.

Неужели такие простые действия нельзя автоматизировать скриптом? O_o Вручную я же без проблем открываю эту страницу, и без всяких знаний и прочего дозагружаю все без проблем.
Ответить с цитированием
  #7 (permalink)  
Старый 22.01.2018, 14:54
Аспирант
Отправить личное сообщение для Alex1233 Посмотреть профиль Найти все сообщения от Alex1233
 
Регистрация: 06.04.2014
Сообщений: 45

Сообщение от ksa Посмотреть сообщение
При работе "В ручную" работает скрипт авторов, они-то как раз знают все детали построения данных и алгоритмов.
И доступ у них для себя налажен...

А ты без этого знания слеп и глух.
Так у меня же есть открытая и доступная кнопка которая запускает этот авторский скрипт. По сути, зачем мне знать как оно работает у них там на сервере? Мне главное итоговый результат получить ведь. И вручную он (нужный результат) без проблем получается путем нехитрых манипуляций. Не пойму только как это автоматизировать можно.

Просто нужно чтобы не я сам заходил и жмакал эту кнопку, а за меня это делал мой сервер (скрипт/парсер).

Последний раз редактировалось Alex1233, 22.01.2018 в 14:57.
Ответить с цитированием
  #8 (permalink)  
Старый 22.01.2018, 15:18
Аватар для ksa
ksa ksa вне форума
CacheVar
Отправить личное сообщение для ksa Посмотреть профиль Найти все сообщения от ksa
 
Регистрация: 19.08.2010
Сообщений: 14,277

Сообщение от Alex1233
Просто нужно чтобы не я сам заходил и жмакал эту кнопку, а за меня это делал мой сервер (скрипт/парсер).
Начнем с того, что на странице работает клиентский скрипт...

Как ты будешь внедрять свой скрипт на чужую страницу? У тебя есть доступ к исходникам того сайта?
Ответить с цитированием
  #9 (permalink)  
Старый 22.01.2018, 15:45
Аспирант
Отправить личное сообщение для Alex1233 Посмотреть профиль Найти все сообщения от Alex1233
 
Регистрация: 06.04.2014
Сообщений: 45

Клиентский - это в смысле JavaScript?

Для чего мне внедрять к ним какой то скрипт? Есть же функция в PHP file_get_contents, которая может получать исходный код удаленной страницы. осталось только найти решение, каким образом перед получением этого самого кода страницы - будет прокликиваться (вызываться функция дозагрузки) эта кнопка с дозагрузкой (которая доступна всем и всегда при открытии данной страницы).

Неужели это такая сложная и нереализуемая задача?
Ответить с цитированием
  #10 (permalink)  
Старый 22.01.2018, 23:36
Аспирант
Отправить личное сообщение для Alex1233 Посмотреть профиль Найти все сообщения от Alex1233
 
Регистрация: 06.04.2014
Сообщений: 45

Вот что нашел по теме (вроде), но не понимаю как это применить в моем случае: https://ru.stackoverflow.com/questio...ерез-ajax

И как то уж больно сложно там. Неужели полегче нет решения?
Ответить с цитированием
Ответ



Опции темы Искать в теме
Искать в теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Jquery ajax получение данных из div и textarea psfdek jQuery 3 30.03.2015 05:15
AJAX, Только передача данных. NewJSUser AJAX и COMET 14 12.01.2015 17:38
Ajax отправка данных Serhiy AJAX и COMET 0 29.01.2014 19:03
AJAX. редактирование данных в таблице MySQL B1ackgh0st AJAX и COMET 1 09.01.2014 04:03
Ajax и получение ответа до полной загрузки страницы Suspended jQuery 3 16.11.2008 14:57